\section{Их оценки: коррелограмма и периодограмма}
Рассмотрим основные методы:{\vspace{0.5 cm}} \\
{\it Усреднение по ансамблю траекторий}{\vspace{0.5 cm}}

\graphicspath{\cfcurrentfolder}
\insertpicture{ris1.eps}{}{l}

N траекторий
$$
x_{1}^{(1)},...,x_{n}^{(1)}\\
... \\
x_{1}^{(N)},...,x_{n}^{(N)}\\
$$

Построим оценку: $\widehat{m_{K^{*}}}(N) =
\frac{1}{N}\sum_{i=1}^{N}X_{K^{*}}^{(i)}$

Покажем, что данная оценка является несмещенной:\\
$E\widehat{m_{K^{*}}}(N) = \frac{1}{N}\sum_{i=1}^{N} = m_{K^{*}}$

Покажем состоятельность:\\
$Dm_{K^{*}}(N) = D(\frac{1}{N}\sum_{j=1}^{N}(x_{K^{*}}^{(i)} -
m_{K^{*}})) = \frac{1}{N^{2}}\sum_{j=1}^{N}E(x_{K^{*}}^{(j)} -
m_{K^{*}})^{2} = \frac{1}{N}Dx_{K^{*}} \rightarrow 0$

Оценка автоковариационной функции:
\begin{enumerate}
\item m - известно.\\
    $R_{K^{*}, S^{*}} = \frac{1}{N}\sum_{j=1}^{N}(x_{K^{*}}^{(j)} -
    m_{K^{*}})(x_{S^{*}}^{(j)} - m_{S^{*}})$;
\item m - неизвестно.\\
    $\widehat{R}_{K^{*}, S^{*}} = \frac{1}{N-1}\sum_{j=1}^{N}(x_{K^{*}}^{(j)} - \widehat{m}_{K^{*}}(N))(x_{S^{*}}^{(j)} - \widehat{m}_{S^{*}}(N))$
\end{enumerate}

Введем понятие {\it эргодичности}

\begin{df}
{\it Эргодичность:} $EX_{t} =
\int\limits_{\Omega}X_{t_{fix}}(\omega)P(d\omega) = \lim_{T
\rightarrow
\infty}\frac{1}{2T}\int\limits_{-T}^{T}X_{t}(\omega_{fix})dt$
\end{df}

Достаточное условие эргодичности: $\lim_{n \rightarrow \infty} =
0${\vspace{0.5 cm}}\\
{\it Усреднение по времени}{\vspace{0.5 cm}}

Имеем $x_{1},..., x_{n}$ (рассматриваем эргодичные процессы
$X_{t}$)

$$
\overline{X_{n}} = \frac{1}{n}\sum_{i=1}^{n}x_{i}
$$

Покажем несмещенность:\\
$E\frac{1}{n}\sum_{i=1}^{n}x_{i} = \frac{1}{n}\sum_{i=1}^{n}Ex_{i}
= m$

Рассмотрим, является ли данная оценка состоятельной:\\
$D\overline{X_{n}} = E(\frac{1}{n}\sum_{i=1}^{n}(x_{i} - m)^{2} =
\frac{1}{n^{2}}\sum_{i,j=1}^{n}E(x_{i} - m)(x_{j} - m) =
\frac{1}{n}(R(0) + 2\sum_{k=1}^{n-1}(1-\frac{k}{n})R(k)$\\
Для дальнейших выкладок воспользуемся следующей
теоремой:{\vspace{0.5 cm}}\\
{\it Теорема:}

Пусть выполнено условие (*) $\sum_{k=-\infty}^{+\infty}|R_{k}| =
R(0) + 2\sum_{k=1}^{\infty}|R_{k}| < \infty$. Тогда
$D\overline{X}_{n} \sim \frac{2\pi}{n}f(0)$, f - спектральная
плотность.

Продолжим рассуждения: $nD\overline{X}_{n} = (R(0) +
2\sum_{k=1}^{n-1}(1-\frac{k}{n})R(k)) = R(0) +
2\sum_{k=1}^{n-1}R(k)cos(0k) = 2\pi f(0)$\\
Следовательно, данная оценка является несмещенной, но не является
состоятельной.

Оценим автоковариационную функцию R(k):\\
\begin{enumerate}
\item m известно:
    $C_{n}(k) = \frac{1}{n-k}\sum_{i=1}^{n-k}(x_{i} - m)(x_{i+k} -
    m)$. Целесообразно рассматривать $0 \leq k \leq\frac{n}{4}$, ибо
    иначе получаем плохие оценки.
    $EC_{n}(k) = \frac{1}{n-k}\sum_{i=1}^{n-k}E(x_{i} - m)(x_{i+k} - m) =
    R(k)$;
\item m неизвестно:
    $\widetilde{C_{n}}(k) = \frac{1}{n-k}\sum_{i=1}{n-k}(x_{i} - \overline{x_{n}})(x_{i+k} -
    \overline{x_{n}}$. $0\leq k \leq \frac{n}{4}$
    Считаем м.о. $(x_{i} - \overline{X_{n}})(x_{i+k} - \overline{X_{n}}) = (x_{i} - m)(x_{i+k} - m) - (x_{i} - m)(\overline{X_{n}} - m) - (x_{i+k} - m)(\overline{X_{n}} - m) + (\overline{X_{n}} - m)^{2} = (x_{i} - m)(x_{i+k} - m) - \frac{1}{n}(x_{i} - m)(x_{j} - m) - \frac{1}{n}(x_{i+k} - m)\sum_{j=1}^{n}(x_{j} - m) + \frac{1}{n^{2}}\sum_{i,j=1}^{n}(x_{i} - m)(x_{j} - m)$
    Тогда мат. ожидание:\\
    $E\widetilde{C_{n}}(k) = \frac{1}{n-k}E\sum_{i=1}^{n-k}(x_{i} - m)(x_{i+k} - m) - \frac{1}{(n-k)n}E\sum_{i=1}^{n-k}\sum_{j=1}^{n}(x_{i} - m)(x_{j} - m) - \frac{1}{(n-k)n}E\sum_{i=1}^{n-k}\sum_{j=1}^{n}(x_{i+k} - m)(x_{j} - m) + \frac{n-k}{n^{2}(n-k)}E\sum_{i,j=1}^{n}(x_{i} - m)(x_{j} - m) = R(k) - \frac{1}{n(n-k)\sum_{i=1}^{n-k}}\sum_{j=1}^{n}(R(i-j) + R(i+j-k)) + \frac{1}{n^{2}}\sum_{i,j=1}^{n}R)i-j)$
    Получили, что оценка не является несмещенной.{\vspace{0.5
    cm}}\\
    {\it Теорема:}

    Если выполнено условие (*), то оценка является асимптотически
    несмещенной.
    $E\widetilde{C_{n}}(k) = R(k) + \frac{2\pi}{n}f(0) +
    O(\frac{1}{n})$

    Существуют условия, когда полученные оценки являются
    состоятельными. Например, в Гауссовском случае такое условие -
    сходимость ряда $\lim_{n \rightarrow \infty}\frac{1}{n}\sum_{k=1}^{n}R^{2}(k) = 0$
\end{enumerate}

$\widehat{\varrho}_{n}(k) = \frac{C_{n}(k)}{C_{n}(0)}$ при
известном m

$\widetilde{\varrho}_{n}(k) =
\frac{\widetilde{C}_{n}(k)}{\widetilde{C}_{n}(0)}$ при неизвестном
m.

Коррелограмма.

\insertpicture{ris2.eps}{}{l}
\insertpicture{ris3.eps}{}{l}

По коррелограмме легко определять стационарность (убывание).





\textit{Спектральная плотность} по определению
\begin{eqnarray*}
&&  f(\lambda) = \dfrac{1}{2 \pi} R_0 + \frac{1}{\pi} \sum\limits_{k=1}^{\infty} R(k) \cdot cos(k \lambda) = \\
&& = \dfrac{1}{\pi} \sum\limits_{k=1}^{\infty} R(k) \cdot cos(k \lambda) \\
&& \lambda \in [-\pi, \pi]
\end{eqnarray*}

При этом $R(k)$ удовлетворяют следующим ограничениям
\[
\sum\limits_{k=1}^{\infty} |R(k)| < \infty
\]

Первым шагом в оценке спектральной плотности является переход от бесконечных индексов суммирования к конечным. Для этого используется следующая утверждение из курса функционального анализа:
\[
\lim_{n \rightarrow \infty} \sum\limits_{k = -n}^{n} \left(1 - \frac{|k|}{n}\right)R(k) = \sum\limits_{k = -\infty}^{\infty}R(k)
\]
Следовательно, при выборе достаточно большого $n$, оценку спектральной плотности можно строить в виде, называемом \textit{выборочной спектральной плотностью} или \textit{периодограммой}

\begin{eqnarray*}
&& f_n(\lambda) = \frac{1}{2 \pi} \sum\limits_{|k| < n} C_n'(k) \cos ( k \lambda), \\
&&\mbox{здесь} \quad C_n'(k) = (1 - \frac{|k|}{n}) C_n(k), \\
&&C_n(k) \mbox{- оценка автоковариационной функции} \\
\end{eqnarray*}


Дальнейшей задачей является изучение свойств данной оценки: смещенности и состоятельности. Для проведения исследования потребуется следующее утверждение

\begin{eqnarray*}
&& Ef_n(\lambda) = \int\limits_{-\pi}^{\pi} K_n{\lambda - \nu}f(\nu) d\nu, \quad \mbox{где} \\
&& K_n(z) = \dfrac{1}{2\pi n} \left(\dfrac{\sin\dfrac{nz}{2}}{\sin\dfrac{z}{2}}\right)^2 \quad \mbox{ - ядро Фейера}
\end{eqnarray*}

Доказательство:
\begin{eqnarray*}
&& Ef_n(\lambda) = E \dfrac{1}{2 \pi} \sum_{|k| < n} C_n'(k) \cos(k \lambda) = \\
&& = \dfrac{1}{2 \pi} \sum_{|k| < n} \left(1 - \dfrac{|k|}{n}\right) EC_n(k) \cos(k \lambda) = \\
&& \mbox{далее воспользуемся равенством} \quad EC_n(k) = \int_{\pi}^{\pi} f(\nu) \cos(k \lambda) d\nu \\
&& = \dfrac{1}{2 \pi} \int_{\pi}^{\pi} \sum_{|k| < n} \left(1 - \dfrac{|k|}{n}\right)\cos(k \lambda)\cos(k \nu) f(\nu) d\nu = \\
&&= \dfrac{1}{2 \pi} \int_{\pi}^{\pi} \sum_{|k| < n} \left(1 - \dfrac{|k|}{n}\right)\Bigl( \cos\big((\lambda - \nu)(t-s)\big) - \sin\big(\lambda(t-s)\big)\sin\big(\nu(t-s)\big)\Bigl) f(\nu)d\nu = \\
&& =  \dfrac{1}{2 \pi} \int_{\pi}^{\pi} \sum_{|k| < n} \left(1 - \dfrac{|k|}{n}\right)\cos\big((\lambda - \nu)k\big)f(\nu)d\nu - \\
&& -\dfrac{1}{2 \pi} \int_{\pi}^{\pi} \sum_{|k| < n} \left(1 - \dfrac{|k|}{n}\right)\sin(\lambda k)\sin(\nu k)\Bigl) f(\nu)d\nu
\end{eqnarray*}

Второй интеграл равен нулю. Так как $f(\nu)$ является четной функцией, а $\sin(\nu k)$- нечетной, то все подынтегральное выражение- нечетная функция. Интеграл от от такой функции в пределах от $-\pi$ до $\pi$ равен нулю.

Следовательно, осталось показать, что $K_n(\lambda -\nu) = \dfrac{1}{2\pi} \sum\limits_{|k| < n} \left(1 - \dfrac{|k|}{n}\right)\cos\big((\lambda - \nu)k\big)$:

\begin{eqnarray*}
&&\dfrac{1}{2\pi} \sum\limits_{|k| < n} \left(1 - \dfrac{|k|}{n}\right)\cos\big((\lambda - \nu)k\big) =\\
&& = \dfrac{1}{2\pi} \Bigl( n + 2\sum\limits_{k = 1}^{n}(n-k) \cos\big((\lambda - \nu)k\big) \Bigl) = \\
&& = \dfrac{1}{\pi} \sum\limits_{p = 1}^{n}\Bigl( \frac12 + \sum\limits_{k = 1}^{p}\cos\big((\lambda - \nu)k\big)  \Bigl) = \\
&& = \dfrac{1}{\pi} \sum\limits_{p = 1}^{n} \dfrac{\sin\left(\dfrac{2p+1}{2}(\lambda - \nu)\right)}{2 \sin\dfrac{\lambda - \nu}{2}} = \\
&& = \dfrac{1}{2\pi} \left(\dfrac{\sin\dfrac{n(\lambda - \nu)}{2}}{\sin\dfrac{\lambda - \nu}{2}}\right)^2 = K_n(\lambda -\nu)
\end{eqnarray*}

Для доказательства двух последних равенств использовались известные тождества:
\begin{eqnarray*}
&&  \sin\dfrac{2k+1}{2}z - \sin\dfrac{2k-1}{2}z = 2 \cos (kz) \sin\dfrac{u}{2} \\
&&  2 \sin(2k +1)z \sin z = \cos 2kz - \cos 2(k+1)z
\end{eqnarray*}



Ядро Фейера $K_n(z)$ обладает следующими свойствами:
\begin{enumerate}
    \item Ядро симметрично по $z$, т.е. $K_n(z) = K_n(-z)$
    \item Минимум ядра достигается при $z=0$
    \item Ядро имеет период $2 \pi$
    \item $K_n(0) = \dfrac{n}{2 \pi}$
    \item $\int_{\pi}^{\pi} K_n(z) dz = 1$
    \item Для любой функции $g(y)$, абсолютно интегрируемой на $[-\pi, \pi]$ и непрерывной в точке $x \in [-\pi, \pi]$, имеет место предел $\lim\limits_{n \rightarrow \infty} \int_{\pi}^{\pi} K_n(x-y)g(y)dy = g(x)$.
\end{enumerate}

Из последнего свойства следует ассимптотическая несмещенность оценки спектральной плотности.

Известно, что оценка состоятельной не является, поэтому рассматривают, так называемые, \textit{сглаженные (или взвешенные) периодограммы}.

\subsection{Сглаженная периодограмма}

Рассмотрим оценку в виде:
\[
\widehat{f_n}(\lambda) = \dfrac{1}{2 \pi} \sum\limits_{|k| < n} W_n(k) C_n'(k) \cos ( k \lambda)
\]
Здесь $W_n(k)$ -весовая функция, которая обладает следующими свойствами:
\begin{enumerate}
    \item Симметричность. $W_n(k) = W_n(-k)$
    \item Нормированность. $\sum\limits_{|k| < n} W_n(k) = 1$
\end{enumerate}

Оценка не будет несмещенной. Потребуем, чтобы оценка находилась хотя бы в классе асимптотически несмещенных оценок.
\begin{eqnarray*}
&&E\widehat{f_n}(\lambda) = \sum\limits_{|k| < n} W_n(k) (1 - \dfrac{|k|}{n}) EC_n(k) \cos(k \lambda) = \\
&& = \int\limits_{-\pi}^{\pi} \dfrac{1}{2\pi} W_n(k) (1 - \dfrac{|k|}{n}) \cos(k \nu) \cos(k \lambda) f(\nu) d\nu = \\
&& = \int\limits_{-\pi}^{\pi} W_n(\lambda, \nu) f(\nu) d\nu, \mbox{  где} \quad W_n(\lambda, \nu) = \dfrac{1}{2\pi} W_n(k) (1 - \dfrac{|k|}{n}) \cos(k \nu) \cos(k \lambda)
\end{eqnarray*}

Функция $W(\lambda, \nu)$ называется \textit{спектральным окном}.

Функцию $W_n(k)$ ищут в виде
\[
W_n(k) = \left\{
\begin{array}{lr}
h(\dfrac{k}{l_n}), &|k| < l_n \\
0, &|k| > l_n
\end{array}
\right.
\]
Функция $h(\cdot)$ - непрерывная в нуле, четная, $h(0) = 1$. Последовательность $l_n$ должна стремится к бесконечности некоторым, согласованным с $n$, способом.

Кроме того на спектральную плотность для хорошей оценки накладываются дополнительные условия гладкости. Пусть в частности, $h(\cdot) \sim x^q$, а $f(\cdot) \sim \lambda^p$, тогда оценка \textit{асимптотически несмещенная} и порядок смещения есть $O(l_n^{-r})$, где $r = \min(q,p)$.

Исследуем оценку на состоятельность.

\[
Var \widehat{f_n}(\lambda) = \left\{
\begin{array}{ll}
\dfrac{2 l_n}{n} f^2(\lambda) \int\limits_{-\pi}^{\pi}h^2(x)dx, & \quad\lambda = 0, \lambda = \pm \pi  \\
\dfrac{l_n}{n} f^2(\lambda) \int\limits_{-\pi}^{\pi}h^2(x)dx, & \quad\lambda \ne 0, \lambda \ne \pm \pi
\end{array}
\right.
\]
Следовательно $cov(\widehat{f_n}(\lambda_1), \widehat{f_n}(\lambda_2)) = O(\dfrac{l_n}{n}), \lambda_1 \ne \lambda_2$. \textit{Оценка состоятельная. }

Рассмотрим примеры весовых функций.
\begin{enumerate}
    \item Бактелетова оценка. $h(x) = 1 - |x|$. Порядок сходимости $q=1$.
    \item Оценка Парзена. $h(x)= 1 - x^2$. $q=2$.
    \item Оценка Блэкнмана-Тьюки. $h(x) = 1 -2a + 2a \cos(\pi x), 0 \leqslant a \leqslant \frac14$. При $a=\frac14$ оценка носит имя Хьюминга.  $q=2$.
\end{enumerate}

\subsection{Свойство среднеквадратичной сходимости.}

Рассмотрим последовательность случайных величин $\{ x_n \}$, которая \textit{среднеквадратично сходится к }$x$, то есть
\begin{eqnarray*}
EX_n^2 < \infty \\
\lim\limits_{n \rightarrow \infty} E|x_n - x|^2 = 0
\end{eqnarray*}

Последовательность $\{x_n\}$ называется \textit{фундаментальной}, если $\lim\limits_{n,m \rightarrow \infty}E|x_n - x_m|^2=0$. Покажем, что из сходимости последовательности следует ее фундаментальность:
\begin{eqnarray*}
|x_n -x_m|^2 = |x_n - x - (x_m - x)|^2 \leqslant 2|x_n - x|^2 + 2|x_m - x|^2, \mbox{следовательно} \\
\lim\limits_{n,m \rightarrow \infty}E|x_n - x_m|^2 \leqslant 2\lim\limits_{n \rightarrow \infty} E|x_n - x|^2 + 2\lim\limits_{m \rightarrow \infty} E|x_m - x|^2 = 0
\end{eqnarray*}
Верно и обратное утверждение: если последовательность фундаментальная, то она сходится
\[
\exists x: Ex^2 < \infty,\lim\limits_{n \rightarrow \infty} E|x_n - x|^2 = 0
\]
В заключение главы, установим связь между последовательностью $\{ x_n \}$ и ее пределом $x$
\[
    \lim\limits_{n \rightarrow \infty} Ex_n = E\lim\limits_{n \rightarrow \infty} x_n = Ex
\]
Действительно
\begin{eqnarray*}
    |E(x_n - x)| \leqslant E|x_n - x| \leqslant\sqrt{E1^2 \cdot E|x_n - x|^2} = 0
\end{eqnarray*}
Для доказательства было использовано неравенство Коши-Буняковского:
\[
    Exy \leqslant \sqrt{Ex^2 Ey^2}
\]

\subsection{Анализ динамических систем со случайными входами.}
%\begin{center}
%\includegraphics[scale=0.8cm]{dyn_sys.png}
%\end{center}

Имеется устройство, обрабатывающее входной сигнал $U(t)$ и выдает случайный процесс $y(t)$. Выходной сигнал асимптотически устойчив относительно входного.

$U(t)$ -случайный процесс второго порядка, т.е. $E|U(t)|^2 < \infty$. Считаем, что параметры процесса $m_u(t)$ и $R_u(s,t)$ - известны.

Требуется исследовать свойства выходного случайного процесса $y(t)$. Его можно представить в виде:
\begin{equation}\label{y_t}
    y(t) = \sum\limits_{s=\infty}^{t} h(t-s)U(s) = \sum\limits_{s=\infty}^{t} h(s)U(t-s)
\end{equation}
В силу ассимптотической устойчивости системы
    \[
    |h(s)| < \alpha^s, |\alpha| <1
\]
Докажем, что ряд (\ref{y_t}) сходится.
\begin{equation}\label{E_y_2_t}
    E(\sum\limits_{s=n}^{m} h(s)U(t-s))^2 = \sum_{\substack{s = n \\ s' = n}}^{m}h(s)h(s')E(U(t-s)U(t-s')) =  \sum_{\substack{s = n \\ s' = n}}^{m}h(s)h(s')R_n(t-s, t-s')
\end{equation}
Так как автоковариационная функция процесса $U(t)$ ограничена, то математическое ожидание (\ref{E_y_2_t}) также ограничено, что означает, что процесс $y(t)$ сходится.

Найдем \textit{математическое ожидание} процесса $y(t)$
    \[
    m_y(t) = Ey(t) = E\sum\limits_{s=\infty}^{t} h(s)U(t-s) =  \sum\limits_{s=\infty}^{t} h(s)EU(t-s) =  \sum\limits_{s=\infty}^{t} h(s)m_u(t-s)
\]
Посчитаем \textit{автоковариационную функцию}
\begin{eqnarray*}
&&  R_y(t,s) = Ey(s)y(t) = E\sum\limits_{l=0}^{\infty} h(l)U(s-l)\sum\limits_{k=0}^{\infty} h(s)U(t-k) = \\
&&  = \sum\limits_{l=0}^{\infty}\sum\limits_{k=0}^{\infty} R_u(s-l, t-k )
\end{eqnarray*}
Также можно получить выражение для \textit{кросскорелляционной функции}
    \[
    R_uy(t,s) = EU(s)y(t) = \sum_{k = 0}^{\infty} R_n(s, t-k)
\]